Với sự kỷ luật nghiêm ngặt của Gordon đã dẫn đến sự gia tăng quy mô đào ngũ của đội quân này. Tháng 6 năm 1863, lực lượng này đã giảm số lượng đến 1.700 người. Trong năm tồn tại cuối cùng Thường Thắng quân phần lớn được tuyển chọn từ những phiến quân Thái Bình Thiên Quốc đã bị bắt làm tù binh và được thuyết phục để thay đổi phục vụ cho đội quân này. Bởi vậy đến tháng 4 năm 1864 quân đội này đã trở nên ít hiệu quả và đã bị thất bại nhiều hơn. Và cuối cùng nó đã được giải tán vào tháng 5 năm 1864 với 104 sĩ quan nước ngoài và 2.288 binh lính Trung Quốc được rã ngũ. Phần lớn của pháo binh và bộ binh một số chuyển giao cho nhà Thanh. Người góp công trong việc giúp nhà Thanh thâu tóm Thường Thắng quân là Lý Hồng Chương.